Matryoshka 层次化 RAG 实现高效多跳问答
🧭 层次化 RAG · Matryoshka 与实体预算 ★ 深度解读
Polytechnic University of Marche · University of Modena and Reggio Emilia
结合 Matryoshka 嵌套表示与层次聚类 DAG，用实体预算与锚定控制实现高效多跳检索，在三个多跳 QA 基准上取得最佳质量与效率
📌 工作参考价值（4 点）
- 用 Matryoshka embedding 做分层索引替代重型图索引：电商商品/内容知识库可按类目→子类目→商品构建层次聚类，上层用低维前缀（如 64/128 维）、底层用全维（768 维），响应时间比 FAISS 全维检索降低约 35-47%，聚类质量不降。无需 LLM 摘要或 KG 构建，离线成本比 GraphRAG/LightRAG 低几个数量级。
- 实体预算迭代检索替代 LLM planning：在商品多跳场景（如“某系列配件的兼容型号”）中，用查询和已检索文档的实体数量控制每轮检索文档数，用实体 Jaccard 重排候选，避免多次 LLM 调用，同时保持多跳覆盖能力。可迁移到 Agent 的检索工具中，降低 query 成本。
- 锚定机制防 query drift：迭代检索时动态提高原始 query 权重 β_t = |R_{t-1}|/K，平衡累积上下文和原问题，防止语义漂移。在 Agent 多轮检索或 PRF 场景中可直接复用，作为轻量正则。
- p-nearest 冗余覆盖容错：每个节点关联多个父簇（p=2）可缓解贪婪自顶向下无回溯导致的漏检；在类目体系不完美或边界模糊的电商知识库中，保留多条路径能提高召回鲁棒性。
微信多模态 Embedding 技术报告：WeMM-Embedding 家族
🧭 多模态表征学习 · 通用 Embedding ★ 深度解读
WeChat Vision, Tencent Inc.
2B/4B/9B 通用多模态 embedding 家族，两阶段训练与蒸馏在 MMEB-v2 达 80.6 SOTA，并大规模落地微信推荐搜索
📌 工作参考价值（4 点）
- 通用多模态 item embedding 直接复用：商品/视频/图文内容统一走 <embedding> 末 token 出向量，可在召回、排序特征、用户序列建模、跨域理解中复用；视频场景可一次前向同时拿到“视频帧-only”和“视频+ASR文本”两种表示，适配不同召回通道。
- 多任务 pair 统一格式优于分开训练：把搜索 query、商品详情、内容描述、分类标签、点击/转化分级相关统一成 (instruction, source, target, hard_negatives, relevance)，用 task-consistent batch 和 duplicate-aware masking，能显著提升 in-batch negatives 质量；该技巧可直接迁移到电商搜索/推荐 embedding 训练。
- 用 Semantic ID 做数据平衡和难负例挖掘：对 pair 表示做 RQ-KMeans 得到三层语义 ID，按频次降采样高频语义、保留长尾，配合 MLLM 质量过滤和检索难负例，特别适合缓解电商长尾商品和新品冷启动；MRL 输出 256/512 维可降低向量索引成本，同时保留 97% 以上性能。
- 蒸馏策略可压缩学生模型：2B/4B 用 9B teacher 的 batch 内双向相似度分布做 KL 蒸馏，不像 one-hot 对比损失那么硬，能高效传递细粒度关系；在广告/推荐小模型迭代时可用此方法把大模型能力压到线上可部署尺寸。